Gensyn团队突破:群体智慧提升小模型性能
人工智能训练通常需要昂贵的超级计算机和大量资源,就像建造摩天大楼需要巨型起重机和专业施工队一样。但是,如果我们能让千百台普通电脑像蚂蚁搬家一样协作,会发生什么呢?Gensyn的研究团队提出了一个令人兴奋的答案:他们开发出一种名为SAPO(群体采样策略优化)的新
人工智能训练通常需要昂贵的超级计算机和大量资源,就像建造摩天大楼需要巨型起重机和专业施工队一样。但是,如果我们能让千百台普通电脑像蚂蚁搬家一样协作,会发生什么呢?Gensyn的研究团队提出了一个令人兴奋的答案:他们开发出一种名为SAPO(群体采样策略优化)的新
Swarm sAmplingPolicyOptimization,简称SAPO,这个名字听起来有点学术,但它解决的问题很实际。大规模语言模型的后训练一直是个让人头疼的事情——要么资源不够,要么效率太低。SAPO提出了一种去中心化的异步RL方案,让各个计算节点之
当被问及7月抗议活动后议会发生了什么变化时,总统党一位有影响力的成员以玩笑口吻回应,称若与NABU和SAPO的丑闻未发生。